Text copied to clipboard!
Naslov
Text copied to clipboard!Inženir podatkovnih cevovodov
Opis
Text copied to clipboard!
Iščemo izkušenega inženirja podatkovnih cevovodov, ki se bo pridružil naši ekipi za podatkovno inženirstvo. Vaša glavna naloga bo oblikovanje, razvoj in vzdrževanje robustnih, skalabilnih in učinkovitih podatkovnih cevovodov, ki omogočajo zbiranje, transformacijo in dostavo podatkov različnim poslovnim enotam. Delali boste z velikimi količinami podatkov iz različnih virov, vključno z notranjimi sistemi, zunanjimi API-ji in podatkovnimi bazami.
Kot inženir podatkovnih cevovodov boste sodelovali z analitiki, znanstveniki za podatke in razvijalci programske opreme, da zagotovite, da so podatki dostopni, zanesljivi in pripravljeni za analizo. Vaša vloga bo ključna pri zagotavljanju kakovosti podatkov, avtomatizaciji procesov in optimizaciji obstoječih rešitev.
Od kandidata pričakujemo dobro razumevanje konceptov podatkovnega inženirstva, kot so ETL (Extract, Transform, Load), podatkovno modeliranje, shranjevanje podatkov in obdelava podatkov v realnem času. Prav tako je pomembno znanje programskih jezikov, kot so Python, SQL in Scala, ter izkušnje z orodji, kot so Apache Airflow, Spark, Kafka in različne platforme v oblaku (AWS, GCP ali Azure).
Če vas veseli delo z velikimi podatki, gradnja infrastrukture in optimizacija podatkovnih tokov, vas vabimo, da se prijavite in postanete del naše rastoče ekipe.
Odgovornosti
Text copied to clipboard!- Načrtovanje in razvoj podatkovnih cevovodov za zbiranje in obdelavo podatkov
- Vzdrževanje obstoječih ETL procesov in njihova optimizacija
- Sodelovanje z analitiki in znanstveniki za podatke pri razumevanju potreb po podatkih
- Zagotavljanje kakovosti in integritete podatkov
- Implementacija rešitev za obdelavo podatkov v realnem času
- Uporaba orodij za orkestracijo, kot je Apache Airflow
- Integracija podatkov iz različnih virov (API-ji, baze, datoteke)
- Dokumentiranje arhitekture in procesov podatkovnih cevovodov
- Spremljanje zmogljivosti in odpravljanje napak v podatkovnih tokovih
- Sodelovanje pri načrtovanju podatkovne infrastrukture v oblaku
Zahteve
Text copied to clipboard!- Diploma iz računalništva, informatike ali sorodnega področja
- Izkušnje z razvojem podatkovnih cevovodov in ETL procesov
- Dobro znanje SQL in enega programskega jezika (npr. Python, Scala)
- Poznavanje orodij, kot so Apache Airflow, Spark, Kafka
- Izkušnje z oblačnimi platformami (AWS, GCP ali Azure)
- Razumevanje konceptov podatkovnega modeliranja in shranjevanja podatkov
- Sposobnost reševanja problemov in samostojnega dela
- Dobro znanje angleškega jezika
- Izkušnje z obdelavo podatkov v realnem času so prednost
- Poznavanje CI/CD procesov in avtomatizacije
Možna vprašanja na razgovoru
Text copied to clipboard!- Kakšne izkušnje imate z razvojem podatkovnih cevovodov?
- Katere tehnologije ste uporabljali za ETL procese?
- Ali imate izkušnje z obdelavo podatkov v realnem času?
- Kako zagotavljate kakovost in integriteto podatkov?
- Ali ste že delali z Apache Airflow ali podobnimi orodji?
- Katera oblačna platforma vam je najbolj znana?
- Kako pristopate k odpravljanju napak v podatkovnih tokovih?
- Ali imate izkušnje z delom v agilnem okolju?
- Kako dokumentirate svoje podatkovne procese?
- Ali ste že sodelovali z analitiki ali znanstveniki za podatke?
